на уровне современных требований

на всех уровнях — at all levels

на высоком (низком) уровне — at a high (low) level

на международном уровне — at the international level

на национальном уровне — at the national level

на уровне министров — at the ministerial level

на уровне послов — at the ambassadorial level

на уровне современных требований — up-to-date

модульный центр обработки данных (ЦОД)
-
[Интент]

Параллельные тексты EN-RU

[ http://loosebolts.wordpress.com/2008/12/02/our-vision-for-generation-4-modular-data-centers-one-way-of-getting-it-just-right/]

[ http://dcnt.ru/?p=9299#more-9299]

Data Centers are a hot topic these days. No matter where you look, this once obscure aspect of infrastructure is getting a lot of attention. For years, there have been cost pressures on IT operations and this, when the need for modern capacity is greater than ever, has thrust data centers into the spotlight. Server and rack density continues to rise, placing DC professionals and businesses in tighter and tougher situations while they struggle to manage their IT environments. And now hyper-scale cloud infrastructure is taking traditional technologies to limits never explored before and focusing the imagination of the IT industry on new possibilities.

В настоящее время центры обработки данных являются широко обсуждаемой темой. Куда ни посмотришь, этот некогда малоизвестный аспект инфраструктуры привлекает все больше внимания. Годами ИТ-отделы испытывали нехватку средств и это выдвинуло ЦОДы в центр внимания, в то время, когда необходимость в современных ЦОДах стала как никогда высокой. Плотность серверов и стоек продолжают расти, все больше усложняя ситуацию для специалистов в области охлаждения и организаций в их попытках управлять своими ИТ-средами. И теперь гипермасштабируемая облачная инфраструктура подвергает традиционные технологии невиданным ранее нагрузкам, и заставляет ИТ-индустрию искать новые возможности.

At Microsoft, we have focused a lot of thought and research around how to best operate and maintain our global infrastructure and we want to share those learnings. While obviously there are some aspects that we keep to ourselves, we have shared how we operate facilities daily, our technologies and methodologies, and, most importantly, how we monitor and manage our facilities. Whether it’s speaking at industry events, inviting customers to our “Microsoft data center conferences” held in our data centers, or through other media like blogging and white papers, we believe sharing best practices is paramount and will drive the industry forward. So in that vein, we have some interesting news to share.

В компании MicroSoft уделяют большое внимание изучению наилучших методов эксплуатации и технического обслуживания своей глобальной инфраструктуры и делятся результатами своих исследований. И хотя мы, конечно, не раскрываем некоторые аспекты своих исследований, мы делимся повседневным опытом эксплуатации дата-центров, своими технологиями и методологиями и, что важнее всего, методами контроля и управления своими объектами. Будь то доклады на отраслевых событиях, приглашение клиентов на наши конференции, которые посвящены центрам обработки данных MicroSoft, и проводятся в этих самых дата-центрах, или использование других средств, например, блоги и спецификации, мы уверены, что обмен передовым опытом имеет первостепенное значение и будет продвигать отрасль вперед.

Today we are sharing our Generation 4 Modular Data Center plan. This is our vision and will be the foundation of our cloud data center infrastructure in the next five years. We believe it is one of the most revolutionary changes to happen to data centers in the last 30 years. Joining me, in writing this blog are Daniel Costello, my director of Data Center Research and Engineering and Christian Belady, principal power and cooling architect. I feel their voices will add significant value to driving understanding around the many benefits included in this new design paradigm.

Сейчас мы хотим поделиться своим планом модульного дата-центра четвертого поколения. Это наше видение и оно будет основанием для инфраструктуры наших облачных дата-центров в ближайшие пять лет. Мы считаем, что это одно из самых революционных изменений в дата-центрах за последние 30 лет. Вместе со мной в написании этого блога участвовали Дэниел Костелло, директор по исследованиям и инжинирингу дата-центров, и Кристиан Белади, главный архитектор систем энергоснабжения и охлаждения. Мне кажется, что их авторитет придаст больше веса большому количеству преимуществ, включенных в эту новую парадигму проектирования.

Our “Gen 4” modular data centers will take the flexibility of containerized servers—like those in our Chicago data center—and apply it across the entire facility. So what do we mean by modular? Think of it like “building blocks”, where the data center will be composed of modular units of prefabricated mechanical, electrical, security components, etc., in addition to containerized servers.

Was there a key driver for the Generation 4 Data Center?

Наши модульные дата-центры “Gen 4” будут гибкими с контейнерами серверов – как серверы в нашем чикагском дата-центре. И гибкость будет применяться ко всему ЦОД. Итак, что мы подразумеваем под модульностью? Мы думаем о ней как о “строительных блоках”, где дата-центр будет состоять из модульных блоков изготовленных в заводских условиях электрических систем и систем охлаждения, а также систем безопасности и т.п., в дополнение к контейнеризованным серверам.
Был ли ключевой стимул для разработки дата-центра четвертого поколения?

If we were to summarize the promise of our Gen 4 design into a single sentence it would be something like this: “A highly modular, scalable, efficient, just-in-time data center capacity program that can be delivered anywhere in the world very quickly and cheaply, while allowing for continued growth as required.” Sounds too good to be true, doesn’t it? Well, keep in mind that these concepts have been in initial development and prototyping for over a year and are based on cumulative knowledge of previous facility generations and the advances we have made since we began our investments in earnest on this new design.

Если бы нам нужно было обобщить достоинства нашего проекта Gen 4 в одном предложении, это выглядело бы следующим образом: “Центр обработки данных с высоким уровнем модульности, расширяемости, и энергетической эффективности, а также возможностью постоянного расширения, в случае необходимости, который можно очень быстро и дешево развертывать в любом месте мира”. Звучит слишком хорошо для того чтобы быть правдой, не так ли? Ну, не забывайте, что эти концепции находились в процессе начальной разработки и создания опытного образца в течение более одного года и основываются на опыте, накопленном в ходе развития предыдущих поколений ЦОД, а также успехах, сделанных нами со времени, когда мы начали вкладывать серьезные средства в этот новый проект.

One of the biggest challenges we’ve had at Microsoft is something Mike likes to call the ‘Goldilock’s Problem’. In a nutshell, the problem can be stated as:

The worst thing we can do in delivering facilities for the business is not have enough capacity online, thus limiting the growth of our products and services.

Одну из самых больших проблем, с которыми приходилось сталкиваться Майкрософт, Майк любит называть ‘Проблемой Лютика’. Вкратце, эту проблему можно выразить следующим образом:

Самое худшее, что может быть при строительстве ЦОД для бизнеса, это не располагать достаточными производственными мощностями, и тем самым ограничивать рост наших продуктов и сервисов.

The second worst thing we can do in delivering facilities for the business is to have too much capacity online.

А вторым самым худшим моментом в этой сфере может слишком большое количество производственных мощностей.

This has led to a focus on smart, intelligent growth for the business — refining our overall demand picture. It can’t be too hot. It can’t be too cold. It has to be ‘Just Right!’ The capital dollars of investment are too large to make without long term planning. As we struggled to master these interesting challenges, we had to ensure that our technological plan also included solutions for the business and operational challenges we faced as well.
So let’s take a high level look at our Generation 4 design

Это заставило нас сосредоточиваться на интеллектуальном росте для бизнеса — refining our overall demand picture. Это не должно быть слишком горячим. И это не должно быть слишком холодным. Это должно быть ‘как раз, таким как надо!’ Нельзя делать такие большие капиталовложения без долгосрочного планирования. Пока мы старались решить эти интересные проблемы, мы должны были гарантировать, что наш технологический план будет также включать решения для коммерческих и эксплуатационных проблем, с которыми нам также приходилось сталкиваться.
Давайте рассмотрим наш проект дата-центра четвертого поколения

Are you ready for some great visuals? Check out this video at Soapbox. Click here for the Microsoft 4th Gen Video.

It’s a concept video that came out of my Data Center Research and Engineering team, under Daniel Costello, that will give you a view into what we think is the future.

From a configuration, construct-ability and time to market perspective, our primary goals and objectives are to modularize the whole data center. Not just the server side (like the Chicago facility), but the mechanical and electrical space as well. This means using the same kind of parts in pre-manufactured modules, the ability to use containers, skids, or rack-based deployments and the ability to tailor the Redundancy and Reliability requirements to the application at a very specific level.

Посмотрите это видео, перейдите по ссылке для просмотра видео о Microsoft 4th Gen:

Это концептуальное видео, созданное командой отдела Data Center Research and Engineering, возглавляемого Дэниелом Костелло, которое даст вам наше представление о будущем.

С точки зрения конфигурации, строительной технологичности и времени вывода на рынок, нашими главными целями и задачами агрегатирование всего дата-центра. Не только серверную часть, как дата-центр в Чикаго, но также системы охлаждения и электрические системы. Это означает применение деталей одного типа в сборных модулях, возможность использования контейнеров, салазок, или стоечных систем, а также возможность подстраивать требования избыточности и надежности для данного приложения на очень специфичном уровне.

Our goals from a cost perspective were simple in concept but tough to deliver. First and foremost, we had to reduce the capital cost per critical Mega Watt by the class of use. Some applications can run with N-level redundancy in the infrastructure, others require a little more infrastructure for support. These different classes of infrastructure requirements meant that optimizing for all cost classes was paramount. At Microsoft, we are not a one trick pony and have many Online products and services (240+) that require different levels of operational support. We understand that and ensured that we addressed it in our design which will allow us to reduce capital costs by 20%-40% or greater depending upon class.

Нашими целями в области затрат были концептуально простыми, но трудно реализуемыми. В первую очередь мы должны были снизить капитальные затраты в пересчете на один мегаватт, в зависимости от класса резервирования. Некоторые приложения могут вполне работать на базе инфраструктуры с резервированием на уровне N, то есть без резервирования, а для работы других приложений требуется больше инфраструктуры. Эти разные классы требований инфраструктуры подразумевали, что оптимизация всех классов затрат имеет преобладающее значение. В Майкрософт мы не ограничиваемся одним решением и располагаем большим количеством интерактивных продуктов и сервисов (240+), которым требуются разные уровни эксплуатационной поддержки. Мы понимаем это, и учитываем это в своем проекте, который позволит нам сокращать капитальные затраты на 20%-40% или более в зависимости от класса.

For example, non-critical or geo redundant applications have low hardware reliability requirements on a location basis. As a result, Gen 4 can be configured to provide stripped down, low-cost infrastructure with little or no redundancy and/or temperature control. Let’s say an Online service team decides that due to the dramatically lower cost, they will simply use uncontrolled outside air with temperatures ranging 10-35 C and 20-80% RH. The reality is we are already spec-ing this for all of our servers today and working with server vendors to broaden that range even further as Gen 4 becomes a reality. For this class of infrastructure, we eliminate generators, chillers, UPSs, and possibly lower costs relative to traditional infrastructure.

Например, некритичные или гео-избыточные системы имеют низкие требования к аппаратной надежности на основе местоположения. В результате этого, Gen 4 можно конфигурировать для упрощенной, недорогой инфраструктуры с низким уровнем (или вообще без резервирования) резервирования и / или температурного контроля. Скажем, команда интерактивного сервиса решает, что, в связи с намного меньшими затратами, они будут просто использовать некондиционированный наружный воздух с температурой 10-35°C и влажностью 20-80% RH. В реальности мы уже сегодня предъявляем эти требования к своим серверам и работаем с поставщиками серверов над еще большим расширением диапазона температур, так как наш модуль и подход Gen 4 становится реальностью. Для подобного класса инфраструктуры мы удаляем генераторы, чиллеры, ИБП, и, возможно, будем предлагать более низкие затраты, по сравнению с традиционной инфраструктурой.

Applications that demand higher level of redundancy or temperature control will use configurations of Gen 4 to meet those needs, however, they will also cost more (but still less than traditional data centers). We see this cost difference driving engineering behavioral change in that we predict more applications will drive towards Geo redundancy to lower costs.

Системы, которым требуется более высокий уровень резервирования или температурного контроля, будут использовать конфигурации Gen 4, отвечающие этим требованиям, однако, они будут также стоить больше. Но все равно они будут стоить меньше, чем традиционные дата-центры. Мы предвидим, что эти различия в затратах будут вызывать изменения в методах инжиниринга, и по нашим прогнозам, это будет выражаться в переходе все большего числа систем на гео-избыточность и меньшие затраты.

Another cool thing about Gen 4 is that it allows us to deploy capacity when our demand dictates it. Once finalized, we will no longer need to make large upfront investments. Imagine driving capital costs more closely in-line with actual demand, thus greatly reducing time-to-market and adding the capacity Online inherent in the design. Also reduced is the amount of construction labor required to put these “building blocks” together. Since the entire platform requires pre-manufacture of its core components, on-site construction costs are lowered. This allows us to maximize our return on invested capital.

Еще одно достоинство Gen 4 состоит в том, что он позволяет нам разворачивать дополнительные мощности, когда нам это необходимо. Как только мы закончим проект, нам больше не нужно будет делать большие начальные капиталовложения. Представьте себе возможность более точного согласования капитальных затрат с реальными требованиями, и тем самым значительного снижения времени вывода на рынок и интерактивного добавления мощностей, предусматриваемого проектом. Также снижен объем строительных работ, требуемых для сборки этих “строительных блоков”. Поскольку вся платформа требует предварительного изготовления ее базовых компонентов, затраты на сборку также снижены. Это позволит нам увеличить до максимума окупаемость своих капиталовложений.
Мы все подвергаем сомнению

In our design process, we questioned everything. You may notice there is no roof and some might be uncomfortable with this. We explored the need of one and throughout our research we got some surprising (positive) results that showed one wasn’t needed.

В своем процессе проектирования мы все подвергаем сомнению. Вы, наверное, обратили внимание на отсутствие крыши, и некоторым специалистам это могло не понравиться. Мы изучили необходимость в крыше и в ходе своих исследований получили удивительные результаты, которые показали, что крыша не нужна.
Серийное производство дата центров

In short, we are striving to bring Henry Ford’s Model T factory to the data center. http://en.wikipedia.org/wiki/Henry_Ford#Model_T. Gen 4 will move data centers from a custom design and build model to a commoditized manufacturing approach. We intend to have our components built in factories and then assemble them in one location (the data center site) very quickly. Think about how a computer, car or plane is built today. Components are manufactured by different companies all over the world to a predefined spec and then integrated in one location based on demands and feature requirements. And just like Henry Ford’s assembly line drove the cost of building and the time-to-market down dramatically for the automobile industry, we expect Gen 4 to do the same for data centers. Everything will be pre-manufactured and assembled on the pad.

Мы хотим применить модель автомобильной фабрики Генри Форда к дата-центру. Проект Gen 4 будет способствовать переходу от модели специализированного проектирования и строительства к товарно-производственному, серийному подходу. Мы намерены изготавливать свои компоненты на заводах, а затем очень быстро собирать их в одном месте, в месте строительства дата-центра. Подумайте о том, как сегодня изготавливается компьютер, автомобиль или самолет. Компоненты изготавливаются по заранее определенным спецификациям разными компаниями во всем мире, затем собираются в одном месте на основе спроса и требуемых характеристик. И точно так же как сборочный конвейер Генри Форда привел к значительному уменьшению затрат на производство и времени вывода на рынок в автомобильной промышленности, мы надеемся, что Gen 4 сделает то же самое для дата-центров. Все будет предварительно изготавливаться и собираться на месте.
Невероятно энергоэффективный ЦОД

And did we mention that this platform will be, overall, incredibly energy efficient? From a total energy perspective not only will we have remarkable PUE values, but the total cost of energy going into the facility will be greatly reduced as well. How much energy goes into making concrete? Will we need as much of it? How much energy goes into the fuel of the construction vehicles? This will also be greatly reduced! A key driver is our goal to achieve an average PUE at or below 1.125 by 2012 across our data centers. More than that, we are on a mission to reduce the overall amount of copper and water used in these facilities. We believe these will be the next areas of industry attention when and if the energy problem is solved. So we are asking today…“how can we build a data center with less building”?

А мы упоминали, что эта платформа будет, в общем, невероятно энергоэффективной? С точки зрения общей энергии, мы получим не только поразительные значения PUE, но общая стоимость энергии, затраченной на объект будет также значительно снижена. Сколько энергии идет на производство бетона? Нам нужно будет столько энергии? Сколько энергии идет на питание инженерных строительных машин? Это тоже будет значительно снижено! Главным стимулом является достижение среднего PUE не больше 1.125 для всех наших дата-центров к 2012 году. Более того, у нас есть задача сокращения общего количества меди и воды в дата-центрах. Мы думаем, что эти задачи станут следующей заботой отрасли после того как будет решена энергетическая проблема. Итак, сегодня мы спрашиваем себя…“как можно построить дата-центр с меньшим объемом строительных работ”?
Строительство дата центров без чиллеров

We have talked openly and publicly about building chiller-less data centers and running our facilities using aggressive outside economization. Our sincerest hope is that Gen 4 will completely eliminate the use of water. Today’s data centers use massive amounts of water and we see water as the next scarce resource and have decided to take a proactive stance on making water conservation part of our plan.

Мы открыто и публично говорили о строительстве дата-центров без чиллеров и активном использовании в наших центрах обработки данных технологий свободного охлаждения или фрикулинга. Мы искренне надеемся, что Gen 4 позволит полностью отказаться от использования воды. Современные дата-центры расходуют большие объемы воды и так как мы считаем воду следующим редким ресурсом, мы решили принять упреждающие меры и включить экономию воды в свой план.

By sharing this with the industry, we believe everyone can benefit from our methodology. While this concept and approach may be intimidating (or downright frightening) to some in the industry, disclosure ultimately is better for all of us.

Делясь этим опытом с отраслью, мы считаем, что каждый сможет извлечь выгоду из нашей методологией. Хотя эта концепция и подход могут показаться пугающими (или откровенно страшными) для некоторых отраслевых специалистов, раскрывая свои планы мы, в конечном счете, делаем лучше для всех нас.

Gen 4 design (even more than just containers), could reduce the ‘religious’ debates in our industry. With the central spine infrastructure in place, containers or pre-manufactured server halls can be either AC or DC, air-side economized or water-side economized, or not economized at all (though the sanity of that might be questioned). Gen 4 will allow us to decommission, repair and upgrade quickly because everything is modular. No longer will we be governed by the initial decisions made when constructing the facility. We will have almost unlimited use and re-use of the facility and site. We will also be able to use power in an ultra-fluid fashion moving load from critical to non-critical as use and capacity requirements dictate.

Проект Gen 4 позволит уменьшить ‘религиозные’ споры в нашей отрасли. Располагая базовой инфраструктурой, контейнеры или сборные серверные могут оборудоваться системами переменного или постоянного тока, воздушными или водяными экономайзерами, или вообще не использовать экономайзеры. Хотя можно подвергать сомнению разумность такого решения. Gen 4 позволит нам быстро выполнять работы по выводу из эксплуатации, ремонту и модернизации, поскольку все будет модульным. Мы больше не будем руководствоваться начальными решениями, принятыми во время строительства дата-центра. Мы сможем использовать этот дата-центр и инфраструктуру в течение почти неограниченного периода времени. Мы также сможем применять сверхгибкие методы использования электрической энергии, переводя оборудование в режимы критической или некритической нагрузки в соответствии с требуемой мощностью.
Gen 4 – это стандартная платформа

Finally, we believe this is a big game changer. Gen 4 will provide a standard platform that our industry can innovate around. For example, all modules in our Gen 4 will have common interfaces clearly defined by our specs and any vendor that meets these specifications will be able to plug into our infrastructure. Whether you are a computer vendor, UPS vendor, generator vendor, etc., you will be able to plug and play into our infrastructure. This means we can also source anyone, anywhere on the globe to minimize costs and maximize performance. We want to help motivate the industry to further innovate—with innovations from which everyone can reap the benefits.

Наконец, мы уверены, что это будет фактором, который значительно изменит ситуацию. Gen 4 будет представлять собой стандартную платформу, которую отрасль сможет обновлять. Например, все модули в нашем Gen 4 будут иметь общепринятые интерфейсы, четко определяемые нашими спецификациями, и оборудование любого поставщика, которое отвечает этим спецификациям можно будет включать в нашу инфраструктуру. Независимо от того производите вы компьютеры, ИБП, генераторы и т.п., вы сможете включать свое оборудование нашу инфраструктуру. Это означает, что мы также сможем обеспечивать всех, в любом месте земного шара, тем самым сводя до минимума затраты и максимальной увеличивая производительность. Мы хотим создать в отрасли мотивацию для дальнейших инноваций – инноваций, от которых каждый сможет получать выгоду.
Главные характеристики дата-центров четвертого поколения Gen4

To summarize, the key characteristics of our Generation 4 data centers are:

Scalable
Plug-and-play spine infrastructure
Factory pre-assembled: Pre-Assembled Containers (PACs) & Pre-Manufactured Buildings (PMBs)
Rapid deployment
De-mountable
Reduce TTM
Reduced construction
Sustainable measures

Ниже приведены главные характеристики дата-центров четвертого поколения Gen 4:

Расширяемость;
Готовая к использованию базовая инфраструктура;
Изготовление в заводских условиях: сборные контейнеры (PAC) и сборные здания (PMB);
Быстрота развертывания;
Возможность демонтажа;
Снижение времени вывода на рынок (TTM);
Сокращение сроков строительства;
Экологичность;

Map applications to DC Class

We hope you join us on this incredible journey of change and innovation!

Long hours of research and engineering time are invested into this process. There are still some long days and nights ahead, but the vision is clear. Rest assured however, that we as refine Generation 4, the team will soon be looking to Generation 5 (even if it is a bit farther out). There is always room to get better.

Использование систем электропитания постоянного тока.

Мы надеемся, что вы присоединитесь к нам в этом невероятном путешествии по миру изменений и инноваций!

На этот проект уже потрачены долгие часы исследований и проектирования. И еще предстоит потратить много дней и ночей, но мы имеем четкое представление о конечной цели. Однако будьте уверены, что как только мы доведем до конца проект модульного дата-центра четвертого поколения, мы вскоре начнем думать о проекте дата-центра пятого поколения. Всегда есть возможность для улучшений.

So if you happen to come across Goldilocks in the forest, and you are curious as to why she is smiling you will know that she feels very good about getting very close to ‘JUST RIGHT’.

Generations of Evolution – some background on our data center designs

Так что, если вы встретите в лесу девочку по имени Лютик, и вам станет любопытно, почему она улыбается, вы будете знать, что она очень довольна тем, что очень близко подошла к ‘ОПИМАЛЬНОМУ РЕШЕНИЮ’.
Поколения эволюции – история развития наших дата-центров

We thought you might be interested in understanding what happened in the first three generations of our data center designs. When Ray Ozzie wrote his Software plus Services memo it posed a very interesting challenge to us. The winds of change were at ‘tornado’ proportions. That “plus Services” tag had some significant (and unstated) challenges inherent to it. The first was that Microsoft was going to evolve even further into an operations company. While we had been running large scale Internet services since 1995, this development lead us to an entirely new level. Additionally, these “services” would span across both Internet and Enterprise businesses. To those of you who have to operate “stuff”, you know that these are two very different worlds in operational models and challenges. It also meant that, to achieve the same level of reliability and performance required our infrastructure was going to have to scale globally and in a significant way.

Мы подумали, что может быть вам будет интересно узнать историю первых трех поколений наших центров обработки данных. Когда Рэй Оззи написал свою памятную записку Software plus Services, он поставил перед нами очень интересную задачу. Ветра перемен двигались с ураганной скоростью. Это окончание “plus Services” скрывало в себе какие-то значительные и неопределенные задачи. Первая заключалась в том, что Майкрософт собиралась в еще большей степени стать операционной компанией. Несмотря на то, что мы управляли большими интернет-сервисами, начиная с 1995 г., эта разработка подняла нас на абсолютно новый уровень. Кроме того, эти “сервисы” охватывали интернет-компании и корпорации. Тем, кому приходится всем этим управлять, известно, что есть два очень разных мира в области операционных моделей и задач. Это также означало, что для достижения такого же уровня надежности и производительности требовалось, чтобы наша инфраструктура располагала значительными возможностями расширения в глобальных масштабах.

It was that intense atmosphere of change that we first started re-evaluating data center technology and processes in general and our ideas began to reach farther than what was accepted by the industry at large. This was the era of Generation 1. As we look at where most of the world’s data centers are today (and where our facilities were), it represented all the known learning and design requirements that had been in place since IBM built the first purpose-built computer room. These facilities focused more around uptime, reliability and redundancy. Big infrastructure was held accountable to solve all potential environmental shortfalls. This is where the majority of infrastructure in the industry still is today.

Именно в этой атмосфере серьезных изменений мы впервые начали переоценку ЦОД-технологий и технологий вообще, и наши идеи начали выходить за пределы общепринятых в отрасли представлений. Это была эпоха ЦОД первого поколения. Когда мы узнали, где сегодня располагается большинство мировых дата-центров и где находятся наши предприятия, это представляло весь опыт и навыки проектирования, накопленные со времени, когда IBM построила первую серверную. В этих ЦОД больше внимания уделялось бесперебойной работе, надежности и резервированию. Большая инфраструктура была призвана решать все потенциальные экологические проблемы. Сегодня большая часть инфраструктуры все еще находится на этом этапе своего развития.

We soon realized that traditional data centers were quickly becoming outdated. They were not keeping up with the demands of what was happening technologically and environmentally. That’s when we kicked off our Generation 2 design. Gen 2 facilities started taking into account sustainability, energy efficiency, and really looking at the total cost of energy and operations.

Очень быстро мы поняли, что стандартные дата-центры очень быстро становятся устаревшими. Они не поспевали за темпами изменений технологических и экологических требований. Именно тогда мы стали разрабатывать ЦОД второго поколения. В этих дата-центрах Gen 2 стали принимать во внимание такие факторы как устойчивое развитие, энергетическая эффективность, а также общие энергетические и эксплуатационные.

No longer did we view data centers just for the upfront capital costs, but we took a hard look at the facility over the course of its life. Our Quincy, Washington and San Antonio, Texas facilities are examples of our Gen 2 data centers where we explored and implemented new ways to lessen the impact on the environment. These facilities are considered two leading industry examples, based on their energy efficiency and ability to run and operate at new levels of scale and performance by leveraging clean hydro power (Quincy) and recycled waste water (San Antonio) to cool the facility during peak cooling months.

Мы больше не рассматривали дата-центры только с точки зрения начальных капитальных затрат, а внимательно следили за работой ЦОД на протяжении его срока службы. Наши объекты в Куинси, Вашингтоне, и Сан-Антонио, Техас, являются образцами наших ЦОД второго поколения, в которых мы изучали и применяли на практике новые способы снижения воздействия на окружающую среду. Эти объекты считаются двумя ведущими отраслевыми примерами, исходя из их энергетической эффективности и способности работать на новых уровнях производительности, основанных на использовании чистой энергии воды (Куинси) и рециклирования отработанной воды (Сан-Антонио) для охлаждения объекта в самых жарких месяцах.

As we were delivering our Gen 2 facilities into steel and concrete, our Generation 3 facilities were rapidly driving the evolution of the program. The key concepts for our Gen 3 design are increased modularity and greater concentration around energy efficiency and scale. The Gen 3 facility will be best represented by the Chicago, Illinois facility currently under construction. This facility will seem very foreign compared to the traditional data center concepts most of the industry is comfortable with. In fact, if you ever sit around in our container hanger in Chicago it will look incredibly different from a traditional raised-floor data center. We anticipate this modularization will drive huge efficiencies in terms of cost and operations for our business. We will also introduce significant changes in the environmental systems used to run our facilities. These concepts and processes (where applicable) will help us gain even greater efficiencies in our existing footprint, allowing us to further maximize infrastructure investments.

Так как наши ЦОД второго поколения строились из стали и бетона, наши центры обработки данных третьего поколения начали их быстро вытеснять. Главными концептуальными особенностями ЦОД третьего поколения Gen 3 являются повышенная модульность и большее внимание к энергетической эффективности и масштабированию. Дата-центры третьего поколения лучше всего представлены объектом, который в настоящее время строится в Чикаго, Иллинойс. Этот ЦОД будет выглядеть очень необычно, по сравнению с общепринятыми в отрасли представлениями о дата-центре. Действительно, если вам когда-либо удастся побывать в нашем контейнерном ангаре в Чикаго, он покажется вам совершенно непохожим на обычный дата-центр с фальшполом. Мы предполагаем, что этот модульный подход будет способствовать значительному повышению эффективности нашего бизнеса в отношении затрат и операций. Мы также внесем существенные изменения в климатические системы, используемые в наших ЦОД. Эти концепции и технологии, если применимо, позволят нам добиться еще большей эффективности наших существующих дата-центров, и тем самым еще больше увеличивать капиталовложения в инфраструктуру.

This is definitely a journey, not a destination industry. In fact, our Generation 4 design has been under heavy engineering for viability and cost for over a year. While the demand of our commercial growth required us to make investments as we grew, we treated each step in the learning as a process for further innovation in data centers. The design for our future Gen 4 facilities enabled us to make visionary advances that addressed the challenges of building, running, and operating facilities all in one concerted effort.

Это определенно путешествие, а не конечный пункт назначения. На самом деле, наш проект ЦОД четвертого поколения подвергался серьезным испытаниям на жизнеспособность и затраты на протяжении целого года. Хотя необходимость в коммерческом росте требовала от нас постоянных капиталовложений, мы рассматривали каждый этап своего развития как шаг к будущим инновациям в области дата-центров. Проект наших будущих ЦОД четвертого поколения Gen 4 позволил нам делать фантастические предположения, которые касались задач строительства, управления и эксплуатации объектов как единого упорядоченного процесса.

Тематики

• ЦОДы (центры обработки данных)

Синонимы

• модульный ЦОД

EN

• modular data center

синхронизация времени
-
[ ГОСТ Р МЭК 60870-5-103-2005]

Также нормированы допустимые временные задержки для различных видов сигналов, включая дискретные сигналы, оцифрованные мгновенные значения токов и напряжений, сигналы синхронизации времени и т.п.
[Новости Электротехники №4(76) | СТАНДАРТ МЭК 61850]

Широковещательное сообщение, как правило, содержит адрес отправителя и глобальный адрес получателя. Примером широковещательного сообщения служит синхронизация времени.
[ ГОСТ Р 54325-2011 (IEC/TS 61850-2:2003)]

Устройства последних поколений дают возможность синхронизации времени с точностью до микросекунд с помощью GPS.

С помощью этого интерфейса сигнал синхронизации времени (от радиоприемника DCF77 сигнал точного времени из Braunschweig, либо от радиоприемника iRiG-B сигнал точного времени  глобальной спутниковой системы GPS) может быть передан в терминал для точной синхронизации времени.
[Герхард Циглер. ЦИФРОВАЯ ДИСТАНЦИОННАЯ ЗАЩИТА. ПРИНЦИПЫ И ПРИМЕНЕНИЕ
Перевод с английского ]

В  том  случае  если  принятое  сообщение  искажено ( повреждено)  в  результате неисправности  канала  связи  или  в  результате  потери  синхронизации  времени, пользователь имеет возможность...

2.13 Синхронизация часов реального времени сигналом по оптовходу 
В современных системах релейной защиты зачастую требуется синхронизированная работа часов всех реле в системе для восстановления хронологии работы разных реле.
Это может быть выполнено с использованием сигналов синхронизации времени   по интерфейсу IRIG-B, если  реле  оснащено  таким  входом  или  сигналом  от  системы OP
[Дистанционная защита линии MiCOM P443/ ПРИНЦИП  РАБОТЫ]

СИНХРОНИЗАЦИЯ ВРЕМЕНИ СОГЛАСНО СТАНДАРТУ IEEE 1588

Автор: Андреас Дреер (Hirschmann Automation and Control)

Вопрос синхронизации устройств по времени важен для многих распределенных систем промышленной автоматизации. При использовании протокола Precision Time Protocol (PTP), описанного стандартом IEEE 1588, становится возможным выполнение синхронизации внутренних часов устройств, объединенных по сети Ethernet, с погрешностями, не превышающими 1 микросекунду. При этом к вычислительной способности устройств и пропускной способности сети предъявляются относительно низкие требования. В 2008 году была утверждена вторая редакция стандарта (IEEE 1588-2008 – PTP версия 2) с рядом внесенных усовершенствований по сравнению с первой его редакцией.

ЗАЧЕМ НЕОБХОДИМА СИНХРОНИЗАЦИЯ УСТРОЙСТВ ПО ВРЕМЕНИ?

Во многих системах должен производиться отсчет времени. О неявной системе отсчета времени можно говорить тогда, когда в системе отсутствуют часы и ход времени определяется процессами, протекающими в аппаратном и программном обеспечении. Этого оказывается достаточно во многих случаях. Неявная система отсчета времени реализуется, к примеру, передачей сигналов, инициирующих начало отсчета времени и затем выполнение определенных действий, от одних устройств другим.

Система отсчета времени считается явной, если показания времени в ней определяются часами. Указанное необходимо для сложных систем. Таким образом, осуществляется разделение процедур передачи данных о времени и данных о процессе.

Два эффекта должны быть учтены при настройке или синхронизации часов в отдельных устройствах. Первое – показания часов в отдельных устройствах изначально отличаются друг от друга (смещение показаний времени друг относительно друга). Второе – реальные часы не производят отсчет времени с одинаковой скоростью. Таким образом, требуется проводить постоянную корректировку хода самых неточных часов.

ПРЕДЫДУЩИЕ РЕШЕНИЯ

Существуют различные способы синхронизации часов в составе отдельных устройств, объединенных в одну информационную сеть. Наиболее известные способы – это использование протокола NTP (Network Time Protocol), а также более простого протокола, который образован от него – протокола SNTP (Simple Network Time Protocol). Данные методы широко распространены для использования в локальных сетях и сети Интернет и позволяют обеспечивать синхронизацию времени с погрешностями в диапазоне миллисекунд. Другой вариант – использование радиосигналов с GPS спутников. Однако при использовании данного способа требуется наличие достаточно дорогих GPS-приемников для каждого из устройств, а также GPS-антенн. Данный способ теоретически может обеспечить высокую точность синхронизации времени, однако материальные затраты и трудозатраты обычно препятствуют реализации такого метода синхронизации.

Другим решением является передача высокоточного временного импульса (например, одного импульса в секунду) каждому отдельному устройству по выделенной линии. Реализация данного метода влечет за собой необходимость создания выделенной линии связи к каждому устройству.

Последним методом, который может быть использован, является протокол PTP (Precision Time Protocol), описанный стандартом IEEE 1588. Протокол был разработан со следующими целями:

• Обеспечение синхронизация времени с погрешностью, не превышающей 1 микросекунды.
• Предъявление минимальных требований к производительности процессоров устройств и к пропускной способности линии связи, что позволило бы обеспечить реализацию протокола в простых и дешевых устройствах.
  • Предъявление невысоких требований к обслуживающему персоналу.
  • Возможность использования в сетях Ethernet, а также в других сетях.
  • Спецификация его как международного стандарта.

ОБЛАСТИ ПРИМЕНЕНИЯ ПРОТОКОЛА PTP

Протокол PTP может быть применен в различного рода системах. В системах автоматизации, протокол PTP востребован везде, где требуется точная синхронизация устройств по времени. Протокол позволяет синхронизировать устройства в робототехнике или печатной промышленности, в системах осуществляющих обработку бумаги и упаковку продукции и других областях.

В общем и целом в любых системах, где осуществляется измерение тех или иных величин и их сравнение с величинами, измеренными другими устройствами, использование протокола PTP является популярным решением. Системы управления турбинами используют протокол PTP для обеспечения более эффективной работы станций. События, происходящие в различных частях распределенных в пространстве систем, определяются метками точного времени и затем для целей архивирования и анализа осуществляется их передача на центры управления. Геоученые используют протокол PTP для синхронизации установок мониторинга сейсмической активности, удаленных друг от друга на значительные расстояния, что предоставляет возможность более точным образом определять эпицентры землетрясений. В области телекоммуникаций рассматривают возможность использования протокола PTP для целей синхронизации сетей и базовых станций. Также синхронизация времени согласно стандарту IEEE 1588 представляет интерес для разработчиков систем обеспечения жизнедеятельности, систем передачи аудио и видео потоков и может быть использована в военной промышленности.

В электроэнергетике протокол PTPv2 (протокол PTP версии 2) определен для синхронизации интеллектуальных электронных устройств (IED) по времени. Например, при реализации шины процесса, с передачей мгновенных значений тока и напряжения согласно стандарту МЭК 61850-9-2, требуется точная синхронизация полевых устройств по времени. Для реализации систем защиты и автоматики с использованием сети Ethernet погрешность синхронизации данных различных устройств по времени должна лежать в микросекундном диапазоне.

Также для реализации функций синхронизированного распределенного векторного измерения электрических величин согласно стандарту IEEE C37.118, учета, оценки качества электрической энергии или анализа аварийных событий необходимо наличие устройств, синхронизированных по времени с максимальной точностью, для чего может быть использован протокол PTP.

Вторая редакция стандарта МЭК 61850 определяет использование в системах синхронизации времени протокола PTP. Детализация профиля протокола PTP для использования на объектах электроэнергетики (IEEE Standard Profile for Use of IEEE 1588 Precision Time Protocol in Power System Applications) в настоящее время осуществляется рабочей группой комитета по релейной защите и автоматике организации (PSRC) IEEE.

ПРОТОКОЛ PTP ВЕРСИИ 2

В 2005 году была начата работа по изменению стандарта IEEE1588-2002 с целью расширения возможных областей его применения (телекоммуникации, беспроводная связь и в др.). Результатом работы стало новое издание IEEE1588-2008, которое доступно с марта 2008 со следующими новыми особенностями:

• Усовершенствованные алгоритмы для обеспечения погрешностей в наносекундном диапазоне.
• Повышенное быстродействие синхронизации времени (возможна более частая передача сообщений синхронизации Sync).
• Поддержка новых типов сообщений.
• Ввод однорежимного принципа работы (не требуется передачи сообщений типа FollowUp).
• Ввод поддержки функции т.н. прозрачных часов для предотвращения накопления погрешностей измерения при каскадной схеме соединения коммутаторов.
• Ввод профилей, определяющих настройки для новых областей применения.
• Возможность назначения на такие транспортные механизмы как DeviceNet, PROFInet и IEEE802.3/Ethernet (прямое назначение).
• Ввод структуры TLV (тип, длина, значение) для расширения возможных областей применения стандарта и удовлетворения будущих потребностей.
• Ввод дополнительных опциональных расширений стандарта.

ПРИНЦИП ФУНКЦИОНИРОВАНИЯ СИСТЕМ НА ОСНОВЕ ПРОТОКОЛА PTP

В системах, где используется протокол PTP, различают два вида часов: ведущие часы и ведомые часы. Ведущие часы, в идеале, контролируются либо радиочасами, либо GPS-приемниками и осуществляют синхронизацию ведомых часов. Часы в конечном устройстве, неважно ведущие ли они или ведомые, считаются обычными часами; часы в составе устройств сети, выполняющих функцию передачи и маршрутизации данных (например, в Ethernet-коммутаторах), считаются граничными часами.

Процедура синхронизации согласно протоколу PTP подразделяется на два этапа. На первом этапе осуществляется коррекция разницы показаний времени между ведущими и ведомыми часами – то есть осуществляется так называемая коррекция смещения показаний времени. Для этого ведущее устройство осуществляет передачу сообщения для целей синхронизации времени Sync ведомому устройству (сообщение типа Sync). Сообщение содержит в себе текущее показание времени ведущих часов и его передача осуществляется периодически через фиксированные интервалы времени. Однако поскольку считывание показаний ведущих часов, обработка данных и передача через контроллер Ethernet занимает некоторое время, информация в передаваемом сообщении к моменту его приема оказывается неактуальной.   Одновременно с этим осуществляется как можно более точная фиксация момента времени, в который сообщение Sync уходит от отправителя, в составе которого находятся ведущие часы (TM1). Затем ведущее устройство осуществляет передачу зафиксированного момента времени передачи сообщения Sync ведомым устройствам (сообщение FollowUp). Те также как можно точнее осуществляют измерение момента времени приема первого сообщения (TS1) и вычисляют величину, на которую необходимо выполнить коррекцию разницы в показаниях времени между собою и ведущим устройством соответственно (O) (см. рис. 1 и рис. 2). Затем непосредственно осуществляется коррекция показаний часов в составе ведомых устройств на величину смещения. Если задержки в передачи сообщений по сети не было, то можно утверждать, что устройства синхронизированы по времени.

На втором этапе процедуры синхронизации устройств по времени осуществляется определение задержки в передаче упомянутых выше сообщений по сети между устройствами. Указанное выполняется  при использовании сообщений специального типа. Ведомое устройство отправляет так называемое сообщение Delay Request (Запрос задержки в передаче сообщения по сети) ведущему устройству и осуществляет фиксацию момента передачи данного сообщения. Ведущее устройство фиксирует момент приема данного сообщения и отправляет зафиксированное значение в сообщении Delay Response (Ответное сообщение с указанием момента приема сообщения). Исходя из зафиксированных времен передачи сообщения Delay Request ведомым устройством и приема сообщения Delay Response ведущим устройством производится оценка задержки в передачи сообщения между ними по сети. Затем производится соответствующая коррекция показаний часов в ведомом устройстве. Однако все упомянутое выше справедливо, если характерна симметричная задержка в передаче сообщения в обоих направлениях между устройствами (то есть характерны одинаковые значения в задержке передачи сообщений в обоих направлениях).

Задержка в передачи сообщения в обоих направлениях будет идентичной в том случае, если устройства соединены между собой по одной линии связи и только. Если в сети между устройствами имеются коммутаторы или маршрутизаторы, то симметричной задержка в передачи сообщения между устройствами не будет, поскольку коммутаторы в сети осуществляют сохранение тех пакетов данных, которые проходят через них, и реализуется определенная очередность их передачи. Эта особенность может, в некоторых случаях, значительным образом влиять на величину задержки в передаче сообщений (возможны значительные отличия во временах передачи данных). При низкой информационной загрузке сети этот эффект оказывает малое влияние, однако при высокой информационной загрузке, указанное может значительным образом повлиять на точность синхронизации времени. Для исключения больших погрешностей был предложен специальный метод и введено понятие граничных часов, которые реализуются в составе коммутаторов сети. Данные граничные часы синхронизируются по времени с часами ведущего устройства. Далее коммутатор по каждому порту является ведущим устройством для всех ведомых устройств, подключенных к его портам, в которых осуществляется соответствующая синхронизация часов. Таким образом, синхронизация всегда осуществляется по схеме точка-точка и характерна практически одинаковая задержка в передаче сообщения в прямом и обратном направлении, а также практическая неизменность этой задержки по величине от одной передачи сообщения к другой.

Хотя принцип, основанный на использовании граничных часов показал свою практическую эффективность, другой механизм был определен во второй  версии протокола PTPv2 – механизм использования т. н. прозрачных часов. Данный механизм  предотвращает накопление погрешности, обусловленной изменением величины задержек в передаче сообщений синхронизации коммутаторами и предотвращает снижение точности синхронизации в случае наличия сети с большим числом каскадно-соединенных коммутаторов. При использовании такого механизма передача сообщений синхронизации осуществляется от ведущего устройства ведомому, как и передача любого другого сообщения в сети. Однако когда сообщение синхронизации проходит через коммутатор фиксируется задержка его передачи коммутатором. Задержка фиксируется в специальном поле коррекции в составе первого сообщения синхронизации Sync или в составе последующего сообщения FollowUp (см. рис. 2). При передаче сообщений Delay Request и Delay Response также осуществляется фиксация времени задержки их в коммутаторе. Таким образом, реализация поддержки т. н. прозрачных часов в составе коммутаторов позволяет компенсировать задержки, возникающие непосредственно в них.

РЕАЛИЗАЦИЯ ПРОТОКОЛА PTP

Если необходимо использование протокола PTP в системе, должен быть реализован стек протокола PTP. Это может быть сделано при предъявлении минимальных требований к производительности процессоров устройств и к пропускной способности сети. Это очень важно для реализации стека протокола в простых и дешевых устройствах. Протокол PTP может быть без труда реализован даже в системах, построенных на дешевых контроллерах (32 бита).

Единственное требование, которое необходимо удовлетворить для обеспечения высокой точности синхронизации, – как можно более точное измерение устройствами момента времени, в который осуществляется передача сообщения, и момента времени, когда осуществляется прием сообщения. Измерение должно производится максимально близко к аппаратной части (например, непосредственно в драйвере) и с максимально возможной точностью. В реализациях исключительно на программном уровне архитектура и производительность системы непосредственно ограничивают максимально допустимую точность.

При использовании дополнительной поддержки аппаратного обеспечения для присвоения меток времени, точность может быть значительным образом повышена и может быть обеспечена ее виртуальная независимость от программного обеспечения. Для этого необходимо использование дополнительной логики, которая может быть реализована в программируемой логической интегральной схеме или специализированной для решения конкретной задачи интегральной схеме на сетевом входе.

РЕЗУЛЬТАТЫ

Компания Hirschmann – один из первых производителей, реализовавших протокол PTP и оптимизировавших его использование. Компанией был разработан стек, максимально эффективно реализующий протокол, а также чип (программируемая интегральная логическая схема), который обеспечивает высокую точность проводимых замеров.

В системе, в которой несколько обычных часов объединены через Ethernet-коммутатор с функцией граничных часов, была достигнута предельная погрешность +/- 60 нс при практически полной независимости от загрузки сети и загрузки процессора. Также компанией была протестирована система, состоящая из 30 каскадно-соединенных коммутаторов, обладающих функцией поддержки т.н. прозрачных часов и были зафиксированы  погрешности менее в пределах +/- 200 нс.

Компания Hirschmann Automation and Control реализовала протоколы PTP версии 1 и версии 2 в промышленных коммутаторах серии MICE, а также в серии монтируемых на стойку коммутаторов MACH100.

ВЫВОДЫ

Протокол PTP во многих областях уже доказал эффективность своего применения. Можно быть уверенным, что он получит более широкое распространение в течение следующих лет и что многие решения при его использовании смогут быть реализованы более просто и эффективно чем при использовании других технологий.

[ Источник]

Тематики

• релейная защита
• телемеханика, телеметрия

EN

• clock synchronization
• time synchronization